Reeds in het jaar 1000 verwijzen de oude kronieken naar een kasteeltoren die de vallei van de Eau Blanche moest bewaken. Dit wordt het belangrijkste punt waar rond het kasteel van Chimay zal worden gebouwd.
In de 14de eeuw was de burcht een koninginnenstuk van de stadswallen die ongeveer een kilometer lang waren en versterkt met een twintigtal torens. Een stoere verblijfplaats waar Karel de Stoute, hertog van Bourgondië, erg op gesteld was. Op die overblijfselen bouwden Philippe de Croy en zijn zoon Charles in 1607 het huidig L-vormig kasteel. Dit kasteel had een dubbele functie, het moest voldoende sterk zijn om zwaarbewapende belegeraars de moed te ontnemen, maar het moest tegelijkertijd een aantrekkelijke en gezellige verblijfplaats zijn. In 1635 echter staken de legerbendes van de Franse koning Hendrik II het kasteel in brand, in totaal werd het zevenmaal door brand vernield, meestal door oorlogsomstandigheden, maar Charles de Croy liet het op schitterende wijze herstellen.
In de 19de eeuw werd op het binnenplein van het kasteel een klein theater gebouwd. Dit theater werd, en wordt, gebruikt voor allerlei muzikale optredens met onder andere een festival van barokke muziek, waarop zelfs Koninklijke gasten komen.
In de nacht van 6 op 7 mei 1935 werd het kasteel van Chimay geteisterd door een hevige brand. Na de wederopbouw werden alle 19de-eeuwse toevoegsels weggelaten en kreeg het kasteel zijn vroeger voorkomen terug. Het kasteel van Chimay is tot op vandaag eigendom van Prins Philippe de Chimay.